Vào năm 1921, Stalin cùng với một đồng hương Gruzia khác là Sergo Ordzhonikidze, Chủ tịch Văn phòng Đảng ở Kavkaz, vận động cho việc mở rộng ảnh hưởng của Soviet tại Gruzia (nước đã nhận quyền độc lập từ Nga theo theo Hiệp ước Moskva 1920), dẫn đến Chiến tranh Nga-Gruzia.[26] Nước Cộng hòa Xô viết Gruzia được thành lập, nhưng phải dựa vào Hồng quân để đối phó với sự phản đối trong dân chúng. Những lãnh đạo cộng sản địa phương cho rằng cần áp dụng các biện pháp hòa giải, điều mà Lenin tán thành.[27] Stalin phản đối quyết liệt, thi hành những biện pháp trấn áp đẫm máu như trong Nội chiến Nga đối với những người dân tộc chủ nghĩa Gruzia và loại bỏ những đối thủ trong Xô viết Gruzia. Với sức khỏe suy giảm, sự can thiệp của Lenin mất đi ảnh hưởng và ngày 30 tháng 12 năm 1922, Liên Xô thành lập với Gruzia cùng với Nga, Belarus, Ukraina.[28] Điều này đã hầu như làm đổ vỡ quan hệ cá nhân giữa Stalin và Lenin, vì Lenin luôn giữ lý tưởng về quyền bình đẳng giữa các dân tộc.[29][30]

Tuy nhiên, Lenin vẫn xem Stalin như một đồng minh trung thành và cần thiết, và trước sự chống đối chính sách của phe cực tả do Trotsky đứng đầu, ông đã quyết định trao cho Stalin nhiều quyền lực hơn. Cùng với sự trợ giúp của Lev Kamenev, Lenin đã chỉ định Stalin làm Tổng Bí thư Đảng Cộng sản Xô viết tại Đại hội X của Đảng, vào ngày 3 tháng 4 năm 1922, bên cạnh vị trí trong Ban chấp hành, Ban thanh tra Công nông và Ban Dân ủy Dân tộc. Tuy chức Tổng Bí thư ít có thực quyền mà mang nhiều tính chất văn phòng, nó đã cho phép Stalin tránh những cuộc đối đầu trực diện với Trotsky và có thể bổ nhiệm những người thân cận vào các vị trí trong đảng và chính quyền.[31]

Do vết thương từ một vụ ám sát hụt và làm việc quá sức, Lenin gặp cơn tai biến vào năm 1922, các bác sĩ buộc ông phải nghỉ dưỡng.[33] Stalin tới trang trại Gorki để viếng thăm Lenin thường xuyên, và trở thành người đưa tin cho Lenin với Trung ương Đảng.

Tuy thế Lenin thường xuyên tranh cãi với Stalin và trong năm 1923, Lenin đã viết một bản Di chúc trong đó lên án chủ nghĩa bè phái và tất cả các thành viên trong Bộ Chính trị, gồm cả Trotsky và Stalin. Ông yêu cầu Di chúc này phải được đọc trước Đại hội toàn quốc của Đảng.[34] Về phần Stalin, Lenin mô tả vị trí Tổng Bí thư có "quyền lực vô hạn", và nghi ngờ năng lực của Stalin cho vị trí này. Lenin bổ sung ngày 24 tháng 12 vào Di chúc rằng Stalin "quá thô lỗ" và "đó là tại sao tôi đề nghị các đồng chí nghĩ cách loại bỏ Stalin khỏi vị trí Tổng Bí thư", thay thế bằng một người mà Lenin đòi hỏi là so với Stalin phải "khoan dung hơn, trung thành hơn, lịch sự hơn, và quan tâm hơn tới đồng chí, ít giảo hoạt hơn...".[35] Trong Di chúc này cùng những văn bản khác được gọi chung là "Di chúc chính trị của Lenin", Lenin cũng đề nghị giảm bớt quyền lực của ban lãnh đạo tối cao, tăng số lượng Ủy viên Trung ương, tăng quyền cho cơ quan dân cử và Ban Kiểm tra Trung ương.

Trong lúc Lenin đang dưỡng bệnh, Stalin liên minh với Kamenev và Zinoviev để cạnh tranh với Trotsky, và bộ ba quyền lực này dần giành được vị thế trong Đảng. Di chúc của Lenin không được công bố vào Đại hội 12 của Đảng năm 1923;[36] ngày 27 tháng 1 năm 1924 Lenin qua đời. Tại Đại hội Đảng thứ 13, Di chúc Lenin được đọc nhưng đã bỏ đi phần Lenin kêu gọi loại trừ Stalin và bị hạn chế: chỉ đọc tại từng tổ thảo luận, các đại biểu không được ghi chép hay nhắc tới nó trong phiên họp toàn thể, và không công bố ra ngoài. Toàn bộ di chúc chỉ được đọc trong một cuộc họp nhỏ hơn của Ban chấp hành trung ương tuy nhiên Trotsky và các thành viên khác vẫn đồng ý để Stalin tiếp tục nắm quyền.[37] Sự hạn chế này, cùng với sự chần chừ không nắm bắt cơ hội của Trotsky,[38] đã cho phép bộ ba Stalin-Kamenev-Zinoviev duy trì vị trí sau Đại hội.

Ít lâu sau đó, liên minh với Kamenev và Zinoviev sụp đổ: tại Đại hội XIV, Kamenev công khai đòi bãi chức Tổng bí thư của Stalin.[39] Kamenev và Zinoviev cùng Trotsky lập nên Khối đối lập Thống nhất, trong khi Stalin bắt tay với Bukharin. Khi Stalin đề nghị Trotsky tiến hành một cuộc tranh luận trong toàn đảng, kết quả của cuộc trưng cầu toàn đảng là một thất bại thảm hại của Trotsky. Trong số 854.000 đảng viên lúc đó có 730.000 tham gia bỏ phiếu, có tới 724.000 đảng viên ủng hộ lập trường của Stalin và chỉ có 6.000 đảng viên ủng hộ Trotsky.[40]

Khối Đối lập Thống nhất lục đục và sớm tan rã, và các đối thủ chính của Stalin lần lượt bị tước bỏ chức vụ: Hội nghị Ban chấp hành Trung ương tháng 10 năm 1927 loại cả ba Trotsky, Zinoviev và Kamenev ra khỏi ban chấp hành. Trotsky bị bãi bỏ đảng tịch và quyết định rời khỏi Liên Xô đầu năm 1929, trong khi hai người kia viết thư xin lỗi và hứa sẽ ủng hộ Stalin.

Với quyền lực được củng cố, Stalin bắt đầu thúc đẩy tiến hành chính sách phát triển công nghiệp nặng và tăng cường quyền kiểm soát tập trung về kinh tế, chấm dứt Chính sách Kinh tế Mới (NEP) của Lenin.[41] Vào cuối năm 1927, đứng trước sự suy giảm nghiêm trọng nguồn cung ngũ cốc, Stalin tiến hành những biện pháp khắc nghiệt, ra lệnh tịch thu lượng ngũ cốc tích trữ của các hộ phú nông kulak và đẩy nhanh tập thể hóa nông nghiệp. Quá trình cưỡng bức gây ra nhiều sự tàn phá và nổi loạn ở khắp các miền nông thôn, nhưng Stalin vẫn kiên quyết và đầu năm 1928 đi công cán Siberia để đốc thúc. Bukharin và Chủ tịch Hội đồng Bộ trưởng, Alexey Rykov phản đối chính sách kinh tế của Stalin và đòi quay lại NEP, nhưng không nhận được đa số ủng hộ trong giới lãnh đạo cao cấp.[42] Stalin buộc tội Bukharin hữu khuynh, đòi quay lại tư bản chủ nghĩa. Bukharin bị loại khỏi Bộ chính trị vào tháng 11 năm 1929.[43] Một thành viên khác chống đối chính sách nông nghiệp của Stalin là Mikhail Kalinin đứng trước điều tra cáo buộc lạm dụng công quỹ do Stalin đề ra, cuối cùng đã khuất phục Stalin.[44] Cuối cùng, tháng 12 năm 1930 Rykov bị cách chức, Vyacheslav Molotov vào thay thế theo sự đề nghị của Stalin.[45] Đến thời gian này, sự chỉ trích công khai vị trí tối cao của Stalin trong Đảng hầu như không còn tồn tại.[46]